MAR 2 7 2DQZ J 



# 



COPY OF PAPERS 
ORIGINALLY FILED 



t 



^5 



Docket No. 32079-83 



Serial No.: 10/035,542 
Filed: December 28, 2001 



THE UNITED STATES PATENT AND TRADEMARK OFFICE 

RECEIVED 

JUN 1 3 2002 

Examiner: Unknown Technology Center 2100 



In re Application of: 

Loris Giuseppe Navoni, Michele Borgatti, 
Lorenzo Cali', and Pierluigi Rolandi 



Group Art Unit: 2151 



For: METHOD FOR EXPANDING IN FRIENDLY MANNER THE FUNCTIONALITY OF A 
PORTABLE ELECTRONIC DEVICE AND CORRESPONDING PORTABLE 
ELECTRONIC DEVICE 



Commissioner for Patents 
Washington, D.C. 20231 



CERTIFICATE OF MAILING 

I hereby certify that this correspondence is being deposited postage paid 
with the United States Postal Service as first class mail in an envelope 
addressed to: Commissioner for Patents, 
Washington, D.C. 20231 



on March 




Dear Sir: 

CLAIM OF PRIORITY UNDER 35 U.S.C. $ 119 
Under the provisions of 35 U.S.C. 1 19, Applicant hereby claims the priority of European 
patent application No. 00830873 .6 filed December 29, 2000, which is identified in the declaration 
of the above-identified application. A certified copy of the priority document is filed herewith. 



Respectfully submitted, 

JENKENS & GILCHRIST, 
A Professional Corporation 




William F. Esser 
Reg. No. 38,053 



1445 Ross Avenue, Suite 3200 
Dallas, Texas 75202-2799 
(214) 855-4181 
(214) 855-4300 (fax) 



Dallas2 879046 v 1, 32079.00083 



Sb 



V 




Europaisches 
Patentamt 



European 
Patent Office 



scheinigung Certificate 



Office europeen 
des brevets 



Attestation 

'5' 

\ 



Die angehefteten Unterla- 
gen stimmen mit der 
ursprunglich eingereichten 
Fassung der auf dem nach- 
sten Blatt bezeichneten 
europaischen Patentanmel- 
dung uberein. 



The attached documents 
are exact copies of the 
European patent application 
described on the following 
page, as originally filed. 



Les documents fixes a 
cette attestation sont 
conformes a la version 
initialement deposee de 
la demande de brevet 
europeen specifiee a la 
page suivante. 



Patentanmeldung Nr. Patent application No. Demande de brevet n° 

00830873.6 



Der Prasident des Europaischen Patentamts; 
1m Auftrag 

For the President of the European Patent Office 

Le President de 1'Office europeen des brevets 
p.o. 



R C van Dijk 



DEN HAAG,DEN 

THE HAGUE, 12/02/02 

LA HAYE,LE 

EPA/EPO/OEB Form 1014 - 02.91 




Europaisches 
Patentamt 



European 
Patent Office 



Office europeen 
des brevets 



Blatt 2 der Bescheinigung 
Sheet 2 of the certificate 
Page 2 de I'attestation 




Anmeldung Nr.: 
Application no.: 
Demande nV 



00830873.6 




Date de depot: 




Anmelder 

Applicant(s): 

Demandeur(s): 

STM1 croelectronics S.r.l. 
20041 Agrate Brlanza (Mllano) 
ITALY 



Bezeichnung der Erfindung: 
Title of the invention: 
Titre de I'invention: 



In Anspruch genommene Prioriat(en) / Priority(ies) claimed / Priorite(s) revendiquee(s) 

Staat: Tag: Aktenzeichen: 

State: Date: File no. 

Pays: Date: Numero de depot: 



Internationale Patent klassifikat ion: 
International Patent classification: 
Classification internationale des brevets: 



Am Anmeldetag benannte Vertragstaaten: 

Contracting states designated at date of filing: AT/BE/CH/CY/DE/DK/ES/FI/FR/GB/GR/IE/IT/LI/LU/MC/NUPT/SEn*R 
Etats contractants designes lors du depot: 



/ 



Bemerkungen: 

Remarks: 

Remarques: 



See for title page 1 of the description 



EPA/EPO/OEB Form 



1012 



- 11.00 



Titolo: Metodo per estendere la funzionalita di dispositivi elettronici 

portatili con modalita user friendly e relative* dispositivo elettronico 
portatile. 

DESCRIZIONE 

Campo di applicazione 

La presente invenzione fa riferimento ad un metodo per estendere la 
funzionalita di dispositivi elettronici portatili con modalita user friendly, 
del tipo in cui ad un dispositivo ospite viene associato un modulo di 
espansione funzioni a rapida interconnessione. 

L'invenzione riguarda altresi un dispositivo elettronico portatile con 
funzionalita espanse in modalita user friendly. 

Com'e ben noto, l'evoluzione dei dispositivi elettronici di computazione 
porta a concentrare in poco spazio numerose funzionalita sino a ieri di 
competenza dei soli computer da tavolo. Molte funzioni di agenda, calcolo, 
comunicazione, pianificazione ecc... sono ora disponibili anche su 
dispositivi delle dimensioni di un palmo di mano (palmar computers, 
handheld computers, mobile phones, organizers ). 

In questi dispositivi palmari rinserimento di dati e/o di comandi per 
Pesecuzione di operazioni richieste dalFutente awiene tramite la pressione 
di tasti o mediante uno schermo attivo di tipo touch screen. 

La modalita d'interfacciamento con Futente e uno degli aspetti piu delicati 
nella realizzazione di questi dispositivi palmari. Occorre infatti garantire 
un'immediata comprensione da parte delFutente affinche le funzionalita 
disponibili vengano immediatamente usufruite, senza necessita di lunghe 
sedute di addestramento. Infatti, a differenza dei normali computer, questi 
dispositivi interagiscono con l'utente spesso in situazioni di scarsa 
concentrazione, si pensi alTutilizzo di un telefono cellulare in una stazione 
affollata, oppure in condizioni in cui Tutente necessita una risposta 
immediata dal sistema, ad esempio nel caso in cui si vogliano prendere 
appunti vocali o scritti. Non e pensabile in questi casi dover attendere 
minuti per una reinizializzazione del sistema, come spesso succede coi 
computer da tavolo. 
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In questo contesto risulta del tutto evidente che la possibilita di richiedere 
il lancio di un'applicazione o Tinserimento di una sequenza di dati 
mediante messaggi vocali porterebbe ad un piu efficace, rapido e comodo 
utilizzo di tali dispositivi palmari. 

Una soluzione nota di. questo genere di possibilita e descritta nel brevetto 
statunitense No. US 5,602,963 che descrive un cosiddetto personal 
organizer comandato vocalmente. 

Un altro esempio di dispositivo comandato vocalmente e descritto nel 
brevetto No. US 6,061,651 che riguarda un sistema che si attiva al 
riconoscimento di un impulso vocale superiore ad un predeterminata 
soglia. 

Oltre alia facilita di attivazione e di comando, il mercato dei dispositivi 
elettronici palmari e particolarmente interessato alia possibilita di 
espandere le funzionalita di un generico sistema di base che racchiuda in 
un'area limitata numerose funzionalita anche distinte tra loro. Tuttavia, 
dal punto di vista dell'utente, ogni funzionalita aggiuntiva dovrebbe essere 
facilmente identificabile, di immediata installazioiie, nonche attivabile a 
piacimento senza sovrapporsi con il sistema di base. 

Un esempio di questo genere di approccio e descritto nel brevetto No. US 
5,133,076 che riguarda un modulo di espansione per un computer 
palmare. ... 

Un'altra soluzione di tipo noto e descritta nel brevetto No. 5,432,938 che 
riguarda una metodologia di attivazione automatica di un modulo di 
espansione funzioni in seguito al suo inserimento in una unita per 
computer. 

La presente invenzione si innesta su questo campo di applicazione con il 
principale scopo di mettere a disposizione una metodologia di gestione di 
moduli aggiunti ad un dispositivo di base di tipo palmare. 

II problema tecnico che sta. alia base della presente invenzione e quello di 
escogitare un metodo di implementazione di funzionalita aggiuntive 
airinterno di un sistema di base, in particolare un dispositivo elettronico 
palmare, il quale metodo abbia caratteristiche tali da rendere 
immediatamente attive e funzionalmente fruibili predeterminate 
applicazioni che non erano originariamente previste nel sistema di base e 
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in modo tale da espandere il campo di applicazione del sistema 
migliorandone la fruizione da parte dell'utente. 

Sommario deirinvenzione 

I/idea di soluzione che sta alia base della presente irivenzione e quella di 
5 trasformare il suddetto problema tecnico in una serie di sottoproblemi che 
riguardano espressamente le modalita di interfacciamente tra un sistema 
di base ed un qualunque modulo aggiuntivo che possa conferire a tale 
sistema di base funzionalita aggiuntive; i sottoproblemi, oltre ad essere 
identificati, sono risolti singolarmente dalla seguente sequenza di fasi: 

10 < • identificare le applicazioni esistenti sul dispositivo di base di 
riferimento; 

• verificare la compatibility delle funzioni supplementari del 
modulo aggiuntivo alle applicazioni esistenti; 

• identificare la classe di comandi alia quale applicare la 
15 funzione supplementare; 

, • interagire. con Putente per, Teventuale acquisizione di 
informazioni necessarie alia funzione supplementare; 

• predisporre il sistema alia ricezione e alFinterpretazione delle 
funzionalita supplementari; 

20 • mantenere in memoria la configurazione ' definita e 

ripristinarla ad ogni successiva accensione del dispositivo di base 
con modulo aggiuntivo, : / . 

Sulla base di tale idea di soluzione il problema tecnico e risolto da un 
metodo del tipo precedentemente indicato e definito dalla rivendicazione 1 . 

25 L'invenziorie riguarda anche un dispositivo del tipo indicato e definito 
dalla rivendicazione 5. 

Le caratteristiche ed i vantaggi del metodo secondo Tinvenzione 
risulteranno dalla descrizione, fatta qui di seguito, di un suo esempio di 
attuazione dato a titolo indicativo e non limitativo con riferimento ai 
30 disegni allegati. 

In tali disegni: 
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Breve descrizione dei disegni 

- la figura 1 mostra una vista schematica di uno schema di flusso 
inerente il metodo di interfacciamento della presente invenzione tra 

... t un dispositivo elettronico. ospite ed un modulo di espansione delle 
5 . funzionalita del dispositivo ospite; 

la. figura 2 mostra. una. vista, a folocchi schematic! della struttura 
interna del dispositivo elettronico ospite e del modulo di espansione; 

- la figura 3 mostra una vista schematica di ulteriore dettaglio della 
struttura di un modulo associato ad un dispositivo elettronico 

10 ospite; 

la figura 4 mostra una vista schematica di un esempio di schema di 
flusso di un'applicazione; 

la figura 5 mostra uno schema tabellare che illustra una 
corrispondenza tra un'istruzione di comando ed una corrispondente 
15 azione di una data applicazione resa possibile dal modulo di figura 

Descrizione dettagliata 

Con riferimento a tali figure, ed in particolare airesempio di figura 1, con 1 
e globalmente e schematicamente indicato un dispositivo elettronico ospite 
20 ; di tipo portatile, ad esempio di tipo palmare, operante in accordo con il 
metodo. della presente invenzione. - 

II dispositivo 1 pud essere un cosiddetto organizer da polso, un telefono 
. cellulare oppure computer palmare, ad esempio del tipo commercialmente 
noto come ^Vispr" della Handspring con sistema operativo OS. 

25 > z Vantaggiosamente, un tale dispositivo 1 e dotato di un microprocessore 2 
e di una unita di memoria 3. Tali componenti interni sono interconnessi 
tra lorp mediante un bus 4 interno che collega anche un'interfaccia 5 
utente. 

II dispositivo 1 comprende anche un connettore 6 ad innesto rapido 
30 destinato a ricevere un corrispondente e coniugato elemento di 
connessione 7 montato a bordo di un modulo 8 strutturalmente 
indipendente dal dispositivo 1 _ 



0 
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Tale modulo 8 e sostanzialmente una scheda di espansione che. consente 
di ampliare le funzionalita del dispositivo 1 ed e rimovibilmente collegata 
al dispositivo 1 tramite raccoppiamento dei connettori 6e 7. 

II modulo 8 comprende almeno un microcontrollore 9 ed una memoria 10. 
5 Sono previsti anche sensori 11 di interfaccia con Tambiente esterno. I 
componenti 9, 10 e 11 sono interconnessi tra loro median te un bus 
interno al modulo 8; tale bus pud anche essere realizzate mediante piste 
di circuito stampato della scheda di espansione. 

Per meglio- comprendere gli aspetti della presente invenzione, e a puro 
10 titolo di esempio, si supponga che il dispositivo 1 sia un generico 
computer palmare e che la scheda di espansione sia un modulo che 
conferisce al dispositivo 1 la possibility di riceve're comandi vocali. 

In tali ipotesi, e secondo lo schema di flusso illustrato in figura 2, e 
possibile attivare la funzionalita di comando vocale semplicemente 

15 inserendo Fapposita scheda hello slot di espansione. Tale scheda sara in 
grado autonomamente di verificare la possibili applicazioni in cui espletare 
le sue funzionalita, configurare il sistema in modo da accettare comandi 
vocali e comandare le applicazioni del computer palmare in modo 
congruente con i comandi vocali impartiti, senza richiedere nessuna 

20 particolare configurazione da parte dell'utente. 

Inoltr'e, sara possibile effettuare una rriemorizzazione della configurazione 
e dello stato attuale, cosi da garantire ^d un successivo inserimento della 
scheda un veloce set-up del sistema. 

L/estrazione della scheda di cui sopra e 1'inserimento di una nuova scheda 
25 avente differente funzionalita, ad esempio un riconoscitore di volti, 
awiera una fase di riconfigurazione del computer palmare in accordo con- 
le caratteristiche della nuova scheda. 

Vediamo ora piu in dettaglio i requisiti minimi che un dispositivo secondo 
Tinvenzione dovrebbe possedere per Tattuazione del metodo secondo 
30 Tinvenzione: - 

1. almeno un modulo 8 di espansione dotato di una qualsiasi 
funzionalita, che disponga di ogni elemento necessario 
alTespletamento deirampliamento funzionale (alimentazione, 
sensori, etc. ) e che possa essere interconnesso ad un generico 
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. dispositivo 1 ospite e portatile, tramite una interfaccia 6, 7 con 
protocollo definito. II modulo 8 permette di ampliare le funzioni e le 
prestazioni del dispositivo 1; 

2: . Tinsieme dispositivo 1 e modulo 8 forma un sistema 
5 interconnesso in grado, attraverso i suoi component! software e 

hardware di: 

o acquisire stimoli dall'ambiente esterno per espletare le 
proprie funzionalita; 

. o trasforrnazione di tali stimoli, ed attivazione di 
10 operazioni in risposta a tali stimoli; successivo invio di segnali 

congruenti secondo protocolli compatibili con il sistema 
computazionale dei dispositivi 1 ospiti; 

o autoattivazione e installazione del software all'atto della 
connessione con iL. dispositivo 1 ospite e disinstallazione alia 
15 disinserzione; . ,\ - : 

6 iri^ipendenza dalle applicazioni esistenti; 

o indipendenza dallliardware esistente, la connessione 
fisica tra il modulo 8 ed il dispositivo 1 ospite awiene solo 
tramite le interfacce fisiche 6, 7 di cui sono dotati. 

20 : . f rr ... ..... B Cpnsiderajndo il caso esemplificato precedentemente, un sistema 

composto da modulo a. comando vocale connesso ad un computer 
palmare dovrebbe evolvere secondo le seguenti fasi: 

o acquisizione delie sequenze audio contenenti messaggi 
vocali; 

25 o a seguito di un riconoscimento vocale, emettere verso il 

dispositivo ospite uno o piu codici del protocollo di 
comunicazione stabilito tra i due dispositivi, in relazione al 
comando vocale datb. 

II metodo secondo Finvenzione prevede una sequenza di fasi qui di 
30 seguito elencate in termini di protocollo di interfaccia tra il dispositivo 1 

ospite ed il modulo 8 di espansione. Tali fasi prevedono che: 
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o ad ogni installazione awenga il riconoscimento 
reciproco tra il modulo di ampliamento della funzionalita e il 
dispositivo ospite; . • : 

o alia prima installazione del modulo nel dispositivo 
ospite venga effettuata in modo automatico: 

■ un'elencazione delle applicazioni installate nel 
dispositivo ospite; 

■ una verifica delTap]Micabilita di tale ampliamento 
per ogni applicazione (ad esempio: un programma di 
tipo amministrativo non necessitera di ampliamenti di 
tipo audio; 

■ una ricerca per ogni applicazione delle modalita 
che sono richieste per Timplementazione 
deirampliamento (ad esempio: elencazioni dei comandi 
che si possono ampliare, o implementazione di nuove 
risorse) e le eventuali interfacce.utente. Tale operazione 
si puo anche effettuare al primo lancio utile della 
applicazione richiesta; 

■ una ricerca o costruzione di un "vocabolario* di 
corrispondenza tra le funzionalita minime offerte dal 
disjpositivo di ampliamento e le funzionalita minime 
richieste dairapplicazione del dispositivo ospite; 

o possibility da parte delFutente di attivare Tampliamento 
disponibile;" 

o in caso di scelta, per una determinata applicazione: 

■ individuazione dei component! del "vocabolario di 
funzionalita^ negli insiemi . appartenenti alle altre 
applicazioni interessate airampliamento reso possibile 
dal modulo aggiuntivo; 

■ eventuale richiesta di training, owero di verifica 
sul vocabolario inserito; 
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■ segnalazione airutente della disponibilita 
dell'ampliamento, mediante un qualsiasi segnale visivo 
o audio; 

■ rattiyazione deirampliamento su richiesta 
5 ». ■ dell'utente. 

■ della configurazione ; 

■ dei .. "vocabolari di funzionalita" per ogni 
applicazione; 

10 ■ dello stato attuale per ogni applicazione attivata; 

Ora, con riferimento alio schema di flusso di figura 2, vediamo piu in 
dettaglio ogni singola fase del metodo secondo Tinvenzione partendo da 
uno stato iniziale in cui il modulo 8 di espansione viene inserito ad 
innesto o interconnessione rapida nel disppsitivo 1 ospite, formando cosi 
15 un unico corpo. 

L/azione di inseriinento, fase Fl di figura 1, attiva nel sistema operativo 
del dispdsitivo 1 ospite una procedura di "attivajzione" mediante la lettura 
di un segnale logico (alto / basso) su predeterminati piedini del modulo 
inserito. Questo segnale logico attiva a sua volta una parte del sistema 
20 operativo, verificando la presenza, in uno.spazio di memoria predefinito e 
dedicato alle schede .di- espansione, di . eventuali programmi . e/o 
applicazioni. .... 

Ad esempio, nel computer palmare Visor della Handsping, con sistema 
• operativo Palm OS. , due segnali indicano Tinserimento di una scheda di 
25 ic espansione effettuando due funzioni: 

(A) lancio di un interrupt al computer palmare per allertare la CPU e 
segnalare l'awenuto inserimento; 

(B) attivazione dell'erogazione di potenza necessaria al funzionamento 
della scheda . 

30 AlPatto deirattivazione della applicazione da parte del sistema operativo 
del dispositivo ospite (fase F2), vengono anche attivate i componenti 



8 



STM203 / MAB/ 00AG 1 33 



2^-12-2000 



- 9 



interni del modulo di espansione, che da questo momenta sono in grado di 
operare per implementare Fapplicazione. 

Nel contesto dell'esempio di cui sopra il sistema operativo, dopo 
l'inserimento del modulo o della scheda, ricerca nello spazio di memoria 
5 dedicato alia scheda una applicazione con determinate caratteristiche 
(fase F3). Se esiste una tale applicazione, l'esecuzione in corso viene 
interrotta e si esegue l'applicazione della scheda. Su tale applicazione vi 
saranno le procedure necessarie ad attivare i componenti della scheda e a 
jpredisporne l'utilizzo da parte del computer palmare. 

10 L'applicazione attiva in questo momento andra a leggere lo spazio di 
memoria del computer ospite, o effettuera una richiesta al sistema 
operativo ospite, in modo da ottenere Telenco delle; applicazioni presenti 
nel dispositivo 1 ospite, come illustrato in flgura 1 nella fase F4. 

Di ciascuna applicazione disponibile si potra ottenere un elenco delle 
15 risorse ad esse associate, (oggetti grafici quali form, bottoni, etc.), e 
ricavarne le informazioni che Tampliamento della applicazione pud 
espletare. Le fasi F5 ed F6 esemplificano le operazioni che presiedono alia 
verifica delle modalita di espansione funzioni ed alia definizione delle 
modalita d'interfaccia tra il modulo 8 ed il cUspositivo 1 . 

20 Ad esempio, se si identifica una form che presenti un messaggio di 
attenzione ("Vuoi confermare Foperazione?") con Teventuale conferma 
. ("OK"), un sistema di sintesi vocale acquisira Tinformazione determinata 
dal contenuto del messaggio, mentre un sistema di comando vocale 
acquisira Tinformazione relativa alia conferma da dare. 

25 Tali informazioni andranno a costitxiire una tabella che definiremo come 
"Vocabolario" di corrispondenza tra le risorse impiegate dalFapplicazione 
e le operazioni richieste al dispositivo di ampKamento, fase F7. 

Si dovranno inoltre configurare alcuni algoritmi software che intercettino 
le richieste da parte del sistema operativo e dirigano nuovamente la 
30 richiesta di azione al modulo di ampliamento o, viceversa, intercettino 
un'azione del modulo di ampliamento e segnalino al sistema operativo 
Fawenuta azione come se fosse stata eseguita da un parte di software 
"proprie tario* . 
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Dopo aver verificato tutte le applicazioni presenti nel sistema (fasi, F5, F6 
ed F7) ed aver costruito una tabella di corrispondenza per ognuna di 
quelle che possono essere "ampliate" nelle funzionalita da parte del 
modulo installato, il sistema e ora cosi composto: 

5 A bordo del modulo 8 di ampliamento: 

- uii programma di caricamento e connessione con il sistema 
ospite; 

• un programriia di : controllo della scheda di ampliamento; 

• un'interfaccia API ( Aplication Programming Interface ) per il 
10 dialogo della scheda con il sistema operativo del dispositivo ospite. 

A bordo del dispositivo ospite: 

• tabelle di corrispondenza tra le applicazioni e i comandi del 
dispositivo installato; 

• un patch (percorso) del sistema operativo per l'intercettazione 
15 delle funzionalita da ampliare. 

Un messaggio o una segnalazione luminpsa sulla scheda, o un simbolo 
accanto a quello della applicazione sulla pagina principale segnalera 
all'utente la disponibilita dell'ampliamento, fase F8. 

Una volta attivato un programma che prevede l'ampliamento, verra 
20 attivato il modulo 8 connesso al dispositivo 1 portatile, in modo da essere 
pronto aU'espletamento delle funzionalita richieste, fase F9. 

Alia conclusione della applicazione, o all'atto della estrazione della scheda 
o del modulo, verranno attuate alcune operazioni per salvare lo stato 
attuale del sistema, cosi da permetterne il ripristino immediato, ad un 
25 nuovo inserimento della scheda, e un salvataggio delle informazioni 
relative ai Vocabolari di corrispondenza, fase F10. 

Ora, a puro titolo di esempio, analizziamo le modalita di connessione e 
utilizzo di un modulo di riconoscimento del parlato associato ad un 
computer palmare modello Visor Handspring dotato di un sistema 
30 operativo Palm OS™ e che e in grado di ricevere schede con funzionalita 
aggiuntive tramite una connessione mecanica/elettrica (Springboard 
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expansion slot), fisicamente identica ad una connessione PCMCIA, posta 
sul retro del dispositivo. : 

Tra i segnali piu caratterizzanti tale connessione: *' ■ 

CD1,CD2 - Module Detects: rilevatori di connessione, indicano al 
computer palmare che e stata inserita una scheda nello slot di 
espansione; 

CSO, CS1 - Chip Selects: controllano Taccesso alle due regioni 
indirizzabili e utilizzabili dalla scheda di espansione. 

IRQ - Interrupt Request: il segnale viene emesso dalla scheda 
quando sono richiesti servizi al computer palmare. 

Per tale modulo di espansione esiste un'interfaccia nota come API 
(Application Programming Interface) che consente il funzionamento sul 
sistema operativo ospite del computer in oggetto. Tale interfaccia API 
garantisce la gestione della installazione della scheda, dell'attivazione di 
applicaziohi eventualmente residenti in essa e degli eventi da essa 
provenienti. 

Si supponga inoltre di avere una scheda 15 di riconoscimento vocale in 
grado di svolgere autonomamente tutte le fasi del riconoscimento, dotata 
di connessione compatibile al computer palmare succitato. 

Tale scheda sarebbe, schematicamente visibile in figura 3, dovrebbe 
comprendere almeno i seguenti componenti: 

• una memoria 16 non volatile, preferibilmente di tipo Flash, 
conteriente i prograinirii di set-up della scheda e le interfacce API 
necessafie al dialogo con il computer ospite: Sono inoltre 
memorizzate in un database di impronte vocali ed eventualmente le 
tabelle di corrispondenza per le principali applicazioni 

• una memoria 17 volatile di lavoro, preferibilmente di tipo 
RAM; 

• un'unita 18 di Speech Recpgnition Core 

• un blocco 19 di controllo interrupt 

• mezzi di acquisizione dati e, in particolare, una linea 20 
microfonica ed un relativo preprocessore 21; 
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• dispositivi 22 di interfaccia I/O ( USB, I2C ). 

Nella memoria 16 residente della scheda 15 saranno immagazzinate tutte 
le procedure relative all'attivazione del riconoscimento vocale, che 
verranno attivate e resi disponibili airatto deirinserimento della scheda 15 
nello slot di espansione. Nello specifico saranno necessarie: 

predisposizione delle connessioni e dei protocolli tra computer e 
scheda; 

• una procedura di attivazione del sistema di riconoscimento 
vocale, che predispone il sistema, mettendolo in uno stato di 
attesa, e lo attivi in base alle richieste. 

• una procedura di gestione delle interruzioni mediante lettura 
delle tabelle di corrispondenza tra comandi vocali e azioni 
software e attivazione di tali azioni 

• una procedura di controllo che gestisca le succitate 
componenti software e ne guidi la attivazione durante le varie 
fasi. 

Si consideri poi il sistema operativo Palm OS™, residente sul computer 
palmare; tale sistema operativo ospita diverse applicazioni. Utilizzando 
opportuni moduli software si potra, per ogni applicazione ospitata sul 
computer, "estrarne le caratterisitiche relative alia interfaccia uterite. Tali 
caratteristiche sbno rappreisentabili dai moduli di risorse ad esse 
associate. Per risorse si iriteridono quelle parti di software, predefinite dal 
sistema operativo, "che interagiscono con l'utente mediante le unita di 
input e output. 

Vediamo un esempio di risorse di una applicazione: 

FORM ID MainForm AT ( 0 0 160 160) 

USABLE 

MODAL 

BEGIN 

TITLE "Voice Commander" 
STM2 03 / M AB / OOAG 1 33 
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LABEL " Ready to receive Vocal Commands" ID 
MainLabel AT (CENTER 16) 

BUTTON "Exchange data" ID MainButton AT( 40 30 80 
40 ) USABLE 

FIELD ID MainResultField AT( 65 100 29 16 ) USABLE 
SINGLELINE 



10 



15 



END 



ALERT ID RomlncompatibleAlert 

CONFIRMATION 

BEGIN 

TITLE "RomlncompatibleAlert" 
BUTTONS "OK" 

END 



Mediaxite. una sequenza di opportune istruzioni, le risorse 
precedentemente descritte vengono intercettate dal programma che deve 

20 definire la tabella di cprrispondenza per il riconoscitore vocale; vengono 
quindi identificate quelle risorse . alle quali e possibile fornire un 
corrispondente comando vocale (neU'esempio qui sopra le risorse 
contrassegnate da BUTTONS, in altri casi possono essere gli elementi di 
una lista ), a seconda del tipo di risorsa viene costruito un percorso di 

25 funzioni software necessarie alia emulazione della risorsa stessa, e viene 
costruita una voce della tabella di. corrispondenza specifica della 
applicazione corrente, che contenga quanto costruito per ciascuna risorsa. 

La figura 5 mostra in forma tabellare questo genera di corrispondenza. 

Nel momento dell'inserzione della scheda nello slot di espansione del 
30 computer palmare, si verificano le seguenti azioni 
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.1. \ Avendo intercettato, i segnali di Module Detects ( CD1, CD2 ) 
. che attestano l'awenuo inserimento, il sistema operativo Palm OS™ 
ricerca nella primo blocco. (identificato dal segnale CSO) la 
disponibilita di spazio . di memoria dedicato alia scheda di 
5 espansione e la presenza di qualche applicazione. 

2. Avendo rintracciato un'applicazione relativa al setup del 
riconoscitore di parole, il sistema operativo copia tale applicazione 
nella memoria interna e ne esegue il contenuto. 

3. Viene inoltre attivata una ricerca tra le applicazioni residenti, 
10 identificando quelle per le quali e gia disponibile una tabella di 

corrispondenza. In base alia ..configurazione di determinati 
parametri da parte dell T utente, il sistema e~ in grado di esplorare le 
altre applicazioni per renderle disponibili alia guida tramite comandi 
vocali, inizializzando nuove tabelle di corrispondenza. 

15 4. Al momento dell'attivazione di una applicazione, il sistema 

approntera una.richiesta di attivazione al modulo di espansione, 
fornendo gli opportuni dati; il modulo si predispcprra alia ricezione di 
un comando vocaie. 

5. Nel caso di riconoscimento del comando, il modulo ritornera 
20 .. al sistema l'indice (nella tabella di corrispondenza) della parola 
riconosciuta. I/algoritmo di intercettazione prowedera a produrre i 
: comandi appropriati al cqntesto delFapplicazione corrente. 

/ 6.. Nel caso di;chiamata di una altra applicazione, verranno 
chiusi i database relativi alia applicazione precedente, yerra salvato 
25 . . eventualmente lo stato .delFapplicazione precedente e si eseguira la 
procedura a partire dal pun to 4. 

-j < .Nel caso specifico di un modulo che. consenta di ampliare le funzionalita di 
un dispositivo elettronico di base in . termini di acquisizione di comandi 
vocali, qui di seguito riportiamo a puro titolo di esempio una pluralita di 
30 possibili scenari di implementazione di un'interfaccia tra un tale modulo 
ed un tale dispositivo. 

Si consideri un modulo applicato ad un generico dispositivo portatile e 
contenente una serie di applicazioni standard, non modificabili 
dairutente. 
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Si consideri inoltre un gruppo di applicazioni modificabili, owero tali che 
Tapplicazione sia adattabile all'ampliamento, ad esempio mediante una 
interfaccia software che comprenda: 

• Facquisizione di un database di comandi necessari airampliamento; 
5 • un canale di collegamento verso il dispositivo; 

• ; un sistema per Facquisizione. 

Esaminiamo ora una serie di termini che sono utili per comprendere 
appieno gli aspetti delFinvenzione come descritti in questo esempio di 
applicazione. 

10 Per "contesto" si intende, nelFambito del dispositivo portatile, quanto viene 
percepito dalFutente, ad esempio le icone sullo schermo, un led o altri 
segnali, nonche il gruppo di comandi disponibili in quel dato momento, sia 
vocali, sia di altra natura, con il corrispettivo gruppo di azioni possibili. 

Per "microcontesto* si intende uno stato delFapplicazione presente nel 
15 contesto nel quale sono possibili solo alcune azioni del gruppo pre visto. 

Per "feedback* si intende Fesecuzione di un comarido; ad esempio, in caso 
di rifiuto (rejection) del messaggio o di non riconoscimento da parte del 
dispositivo (come pure di un ritorno di un messaggio non previsto nel 
dbase o non congruente con il microcontesto corrente) non verra eseguita 
20 alcuna azione. - • - 

Per a grammatica , ' si intende Tinsieme dei comandi disponibili per le 
applicazioni. Una grammatica attiva e data da un sottoinsieme di comandi 
necessari in un determinato contesto,- ed e composta da un gruppo di 
comandi di tipo gerierale (a~contestuali) e da un gruppo di comandi 
25 specifici per quella data applicazione. ; . 

Tali gruppi di comandi sono contenuti in un database, come verra 
descritto qui di seguito nel capitolo: Scenario 1 : 

Scenario 1 : Acquisizione guidata di database per riconoscitore vocale 

• Esiste un database a-contestuale che comprende tutti i comandi 
30 comuni alle applicazioni 

Esempio: 
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/ ok, new, details, cancel, delete, note, graffiti, 
next, back, show, priority, exit, ... ] 

• Esistono alcuni database comuni ad alcune applicazioni: 

Esempio 

5 numerico: ( calc, calendar, clock,... ) 

[0, 1,2, 10, 11, 12] 

edit: 

/ undo, cut, copy, paste, select, keyboard ] 

10 ... • . Considerando le principali applicazioni , potrebbero esistere una 
decina di contesti con un gruppo di almeno venti comandi vocali 
ciascuno. 

. • Flusso di acquisizione del database 
Acquisizione^db( : application__name) 

15 . : { . • • : , • • : .. . • ;. 

db_name = get_dbase_from( application_name); 
- if not exists db_name 

{ ' ' " " : 

dbjname = breate__db (apptication_name ); 

20 . - . } . . ' , , _ . • 

open_db( db_name ); 

set_of_commands = define_commands (application_name); 

25 fcreach element of set_of_commands { 

err = richiesta_acq_word ( element); 
while(Ierr) err = richiesta_acq__word (element); 

} 
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} ...... 

Scenario 2: adattamento al parlatore 

• Si consideri un database pre-esistente 

• Esiste la possibility di attivare o disattivare una modalita di 
acquisizione in linea (on-line) 

• Dato un comando, si prospettano le seguenti situazioni: 

o avviehe il riconoscimento 

o viene memorizzato l'ultimo comando 

o awiene unas riceziohe e riconoscimento di altro comando 

o se e attiva la modalita di acquisizione in linea e se ultimo 
comando conferma quello precedente (ad esempio non e un 
comando di annullamento o uscita ) allora il comando 
memorizzato viene acquisito nel database. 

Scenario 3: Produzione di un database per un contesto, eventualmente 
estraendo dati da contest! differenti 

Si tratta di una metodologia di interfaccia con Tapplicazione software che 
pud fare uso o meno del riconoscimento vocale, e tale che: 

• alia prima installazione di tale applicazione si attui in modo 
automatico una dichiarazione delle modalita di interfaccia 
richieste dalFapplicazione stessa, e del "vocabolario comandi^ 
necessario; ^ 

• possibility da parte delFutente di selezionare le modalita di 
interfaccia; 

• in caso di scelta della modalita di comando vocale: 

o individuazione dei componenti del "vocabolario comandi w 
nel set di comandi vocali appartenente alle altre 
applicazioni attivabili vocalmente; 

o eventuale richiesta di training sul vocabolario inserito; 
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Vocabolario comandi: database, strettamente connesso all'applicazione (ad 
esempio con nome congruente) che contenga il set di comandi specifici per 
detta applicazione, gia esistente o generato alia prima installazione 
dell'applicazione, e da completare con una fase di acquisizione comandi 
5 vocali. 

Una integrazione alia costruzione del database si pud effettuare (alia 
prima installazione), attingendo dagli altri database esistenti i singoli 
comandi dello stesso.tipo, efettuando una acquisizione off-line . Per i 
rimanenti verra richiesta -alFutente una normale acquisizione (vedi 
10 scenario 1 ). ......... 

I messaggi vocali corrispondenti ai comandi . richiesti possono essere 
scorrelati dal punto di vista linguistico, se non perdono il loro significato 
semantico da parte delTutente. Se, ad esempio, Tutente decide di 
interpretare i comandi con una lingua differente da quella del sistema del 

15 dispositivo, puo farlo a patto di mantenere congruenza tra il messaggio 
vocale ed il comando richiesto ad esempio: 

comando richiesto: "OK" parlato: a vd bene? 

comando richiesto: "show* ^ parlato: "mostrd 9 

Si deve comunque tenere conto, nella scelta dei comandi vocali, delle 
20 caratteristiche di ambiguita (parole differenti che esprimono lo stesso 
-* concetto), incertezza nella— pronuncia, e discriminazione (parole dai 
significati differenti ma con pronunce simili) che il linguaggio parlato 
porta con se. 

Scenario 4: Sequenza per la raccolta di informazioni relative ad una 
25 applicazione e all'acquisizione di comandi vocali (connesso alio scenario 3) 
~* "e successiva patch al sistema operativo per sincronizzare i comandi vocali 
con Tapplicazione .. . 

II sistema sara in grado di: 

• mostrare una lista di applicazioni nel computer palmare che non 
30 abbiano il corrispondente database di comandi vocali; 

• permettere la selezione di una applicazione della lista; 

• acquisire le risorse delTapplicazione, che esprimono tra gli altri la 
lista di comandi da immettere vocalmente; 
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• costruire un database di training dipendente dall'applicazione, 
contenente la lista di comandi vocali, come in Scenario 1; . 

II programma di patch del sistema operativo dovra essere in grado di: 

• rintracciare Tidentificativo della applicazione richiesta dall'utente; 
5 • individuare il dbase relativo a detta applicazione 

• intercettare le informazioni provenienti dal sistema di 
riconoscimento vocale e realizzare eventi equivalenti, da immettere 
nella coda degli eventi gestiti dairapplicazione in corso. 

Scenario 5: Attivazione della patch del sistema operativo al momerito del 
10 lancio di una generica applicazione v: 

II sistema deve essere in grado di intercettare la richiesta di attivazione 
di una applicazione, e tramite un programma , prowedere a: 

• verificare che Tapplicazione attiyata possa venir guidata 
tramite comandi yocali; . 

15 • richiedere eventualmente la generazione di un database per 

Fattivazione a comandi vocali; 

• fornire al dispositivo di riconoscimento gli indirizzi relativi ai 
database legati alia applicazione ( contestuali e a-contestuali; 

• attiyare il disppsitiyo di riconosgimento ( metterlo in statp di 
20 _ attesa comandi ); _ 



fare partire Tapplicazione. 



Database: 



Contiene il " vocabolario comandi" relativo ad un contesto o ad un insieme 
di contesti. Per ogni contesto deve esistere un database. . 

25 Esiste una corrispondenza ( bi-)univoca tra il database nel computer 
palmare e quello, relativo alio stesso contesto, contenuto nel dispositivo di 
riconoscimento. 

E' composto da: 

• un flag di completezza: che indica che Tintero set di comandi e stato 
30 acquisito 
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• , ( opzionale ) lista dei contesti coperti da questo database 

• flag di modalita acquisizione on-line : indica se il database e o non e 
abilitato : airacquisizione in linea di nuovi messaggi vocali 
corrispondenti ai comandi ivi contenuti 

5 • indicazioni relative al corrispondente database del dispositivo di 

ricGncscimentc (starting address, ending address) 

• lista di comandi specifici per Tapplicazione considerata , o la classe 
di azioni comune a differenti contesti, indicando: 

o nome del comando richiesto (label); 

10 o presenza nel database del riconoscitore; 

o sequenza di azioni corrispondente (comandi da eseguire da 
parte del sistema operativo per effettuare il comando 
richiesto); 

Nella figura 4 e illustrato schematicamente un esempio di flusso di 
1 5 applicazione : 

Canali di comunicazione e flags 
Abilitazione al riconoscimento: 

• verifica stato del dispositivo di riconoscimento 

• identificazione del contesto 

20 • attivazione flag di abilitazione, per il dispositivo, 

airacquisizione e riconoscimento 

Stack di sequenze di comandi 

• memorizza la sequenza degli ultimi comandi eseguiti, 
permettendo il tracing degli stessi 

25 • permette Teventuale acquisizione in linea 

Flag di awenuto riconoscimento 

Indirizzamento dati 

• T/>1 locazione del database contestuale 

• T/4 locazione dei database a-contestuali 
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• T/^ indirizzo della parola riconosciuta o classe di 
appartenenza 

• T/>1 indirizzo del range di parole appartenenti ad una classe 
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RIVENDICAZIONI 

1. Metodo per estendere la funzionalita di dispositivi 
elettronici portatili (1) con modalita user friendly, del tipo in cui ad un 
dispositivo (1) ospite viene associato un modulo (8) di espansione funzioni 

5 a rapida interconnessione, caratterizzato dal fatto che: 

o ad ogni installazione di un dato modulo (S) aweiiga il 
riconoscimento reciproco tra il modulo di espansione della 
funzionalita e il dispositivo (1) ospite; 

o alia prima installazione di un dato modulo (8) nel 
10 dispositivo (1) ospite venga effettuata in automatico una serie 

di controlli; 

o vi sia la possibility da parte dell*utente di attivare 
Tampliamento disponibile; e 

o in caso di scelta di una determinata applicazione, sia 
15 prevista una 

o memorizzazione della configurazione e delle funzionalita 
richieste per ogni applicazione. 

2. Metodo secondo la rivendicazione 1, caratterizzato dal 
fatto che alia prima installazione del modulo (8) nel dispositivo (1) ospite 

,20,, r ; yiene effettuata in mpdo automatico la seguente serie di controlli: 

- . un'elencazione delle applicazioni installate nel dispositivo ospite; 

- una verifica della compatibilita di tale ampliamento per ogni 
applicazione; 

- una ricerca, per ogni applicazione o al primo lancio utile di un 
25 applicazione, delle modalita richieste per Timplementazione 

delFampliamento; 

una costruzione di un a vocabolario ,> di corrispondenza tra le 
funzionalita minime offerte dal modulo (8) di espansione e le 
funzionalita minime richieste dairapplicazione del dispositivo (1) 
30 ospite. 
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3. Metodo secondo la rivendicazione 1, caratterizzato dal 

fatto che in seguito alia scelta di una data applicazione sono eseguite le 
seguenti fasi: 

■ individuazione dei componenti del "vocabolario di 
5 funzionalita* negli insiemi appartenenti. alle altre 

applicazioni interessate airampliamento reso possibile 
dal modulo aggiuntivo; 

■ eventuale richiesta di training, owero di verifica 
sul vocabolario inserito; 

10 ■ segnalazione : t all-utente della disponibilita 

deirampliamento, mediante un qualsiasi segnale visivo 
o audio; 

■ Tattivazione delTampliamento su richiesta 
delFutente* 

15 4. Metodo secondo la rivendicazione 1, caratterizzato dal fatto che detta 
fase di memorizzazione prevede la memorizzazione: 

■ della configurazione ; 

■ dei "vocabolari di funzionalita" per ogni 
applicazione; 

20 ' • ■ dello stat6 corrente per ogni applicazione attivata. 

5. Dispositivo elettfonico portatile (1) con furizionalita espanse in 
modalita user friendly, del tipo in cui . ad un dispositivo (1) ospite viene 
associato un modulo (8) di espansione funzioni a rapida 
interconnessione, caratterizzato dal fatto di comprendere: 

25 a bordo del modulo (8) di ampliamento: 

- ion programma di caricamento e connessione con il dispositivo ospite; 

- un programma di controllo del modulo di ampliamento; 

- un'interfaccia API ( Aplication Programming Interface ) per il dialogo 
del modulo con il sistema operativo del dispositivo ospite. 

30 a bordo del dispositivo (1) ospite: 
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• tabelle di corrispondenza tra applicazioni e comandi del 
modulo installato; 

• un percorso (patch) del sistema operativo per 1'intercettazione 
delle funzionalita da ampliare. 
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RIASSUNTO 

L'invenzione riguarda un metodo per estendere la funzionalita di 
dispositivi (1) elettronici portatili con modalita user friendly, del tipo in 
cui ad un dispositivo (1) ospite viene associato un modulo (8) di 
5 espansione funzioni a rapida interconnessione. 

II metodo prevede che: 

o ad ogni installazione di un dato modulo (8) awenga il 
riconoscimento reciproco txa il modulo di espansione della 
funzionalita e il dispositivo (1) ospite; 

10 o alia prima installazione di un dato modulo (8) nel 

dispositivo (1) ospite venga effettuata in automatico una serie 
di controlli; 

o vi sia la possibility da parte dell\itente di attivare 
l'ampliamento disponibile; e 

15 o in caso di scelta di una determinata applicazione, sia 

prevista una 

o memorizzazione della configurazione e delle funzionalita 
richieste per ogni applicazione. 
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(Fig. 1) 
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LABEL " Ready to receive VocaJComm. . 
BUTT ON "Exchange data* ID MainBut . 
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END 
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